Từ tháng 6 năm 1975, ông giữ các chức vụ Ủy viên Ban Thường vụ Thành ủy, phụ trách khối Dân vận Mặt trận, Trưởng ban Tổ chức Thành ủy thành phố Sài Gòn (sau đổi thành Thành phố Hồ Chí Minh).

Từ tháng 10 năm 1980 đến tháng 10 năm 1986: Ủy viên Ban Thường vụ Thành ủy, Trưởng ban Nông nghiệp Thành ủy, Trưởng Phân ban Nông thôn Thành ủy; Phó Chủ tịch ủy ban nhân dân TP phụ trách Nông nghiệp Thành ủy.

Từ tháng 10 năm 1986, ông giữ chức vụ Ủy viên Ban Thường vụ Thành ủy, Phó Chủ tịch ủy ban nhân dân TP, Trưởng ban Kinh tế Đối ngoại thành phố.

Dưới sự hậu thuẫn của tân Tổng bí thư Nguyễn Văn Linh (nguyên Bí thư Thành ủy), ông cùng các lãnh đạo thành phố bắt đầu thực hiện các bước "Đổi mới" của Đại hội VI.

Tháng 4 năm 1987, ông được bầu làm Đại biểu Quốc hội khóa 8, Tháng 3 năm 1989, ông được cử làm quyền Chủ tịch ủy ban nhân dân TP, thay cho Chủ tịch Phan Văn Khải ra Trung ương nhận chức Chủ nhiệm Ủy ban Kế hoạch Nhà nước.

Tháng 5 năm 1989 ông được bầu làm Chủ tịch ủy ban nhân dân Thành phố Hồ Chí Minh và giữ chức vụ này cho đến năm 1992.

Tháng 3 năm 1992, ông xin từ chức với lý do sức khỏe (bệnh viêm thanh quản).